Bà sinh ra ở Walton-on-Thames, Anh. Cha của bà, Tsuneo Matsudaira (1877 - 1919) là đại sứ Nhật Bản tại Hoa Kỳ (1924), sau tại Vương quốc Anh (1928), và sau đó, ông trở thành Bộ trưởng Hoàng gia (1936 - 1945, 1946 - 1947) Mẹ bà là bà Nobuko Nabeshima.

Mặc dù về pháp lý, bà được sinh ra với thân phận thường dân, song trên thực tế, bà lại là con cháu của các gia đình quý tộc phân biệt với các mối quan hệ gần gũi với gia đình Hoàng gia Nhật Bản trên cả hai mặt. Ông nội của bà, Katamori Matsudaira, là daimyō cuối cùng của gia tộc Aizu, một nhánh của gia tộc Tokugawa. Ông ngoại của bà, Hầu tước Naohiro Nabeshima, cũng là một daimyō của lãnh địa Saga. Bác gái của bà, Itsuko (1882 -1976), kết hôn với Vương tước Morimasa Nashimoto,là chú của Hương Thuần Hoàng hậu.

Năm 1925, Setsuko được giáo dục tại Trường Friends Sidwell ở Washington, DC,Hoa Kỳ (1925 -1928) khi cha bà là đại sứ tại đó.[1] Khi Setsuko trở về Nhật Bản, Trinh Minh Hoàng hậu đã chọn bà làm đối tượng kết hôn cho con trai thứ hai, tức Dật Phụ cung Thân vương Yasuhito. Bà kết hôn với Thân vương sau khi được chú của mình, Tử tước Morio Matsudaira chính thức nhận nuôi, do đó xóa bỏ tình trạng bất đồng giai cấp giữa Thân vương và vị Thân vương phi tương lai, bởi lúc này,Setsuko đã trở thành con gái của một Tử tước.